FinanceComplexQA: Benchmarking Agentic Reasoning on Industrial-grade Financial Documents
FinanceComplexQA：面向工业级金融文档的代理推理基准
🧭 Agent 评估基准 · 金融文档 QA
Beihang University · Microsoft, China · Multilingual-Multimodal-NLP · Langboat Technology · Shenzhen Intelligent Strong Technology Co.,Ltd.
提出一个包含2026道深度研究题、2000份合成专业文档的金融文档QA基准，用于评测Agent与RAG系统的复杂推理能力
📌 工作参考价值（4 点）
- 复杂场景评测构建：可借鉴其基于领域专家知识合成高难度文档与QA对的流水线，为电商搜索推荐中的Agent评测构建真实、多维度的测试集，尤其关注多跳推理、数值计算和业务分析能力。
- Agent-as-a-Judge自动化评估：对于电商Agent的开放式生成输出（如推荐理由、用户洞察），可直接复用其多维指标+LLM评判方式，替代昂贵的人工标注。
- 复杂布局处理：论文对表格、图文混排等复杂文档的解析与推理评估，提醒我们在商品详情页、用户评论等非纯文本场景的RAG系统需强化布局感知能力。
- 失败案例分析驱动迭代：借鉴其按能力维度（数值、多跳等）归类失败案例的方法，系统性地定位推荐Agent的短板，指导架构优化。